Roon sinh ra tại Pleushagen, gần Kolberg (Kołobrzeg), tại Pommern. Gia đình ông có nguồn gốc từ vùng Flanders, và đã định cư tại Pommern. Cha của ông, một sĩ quan quân đội Phổ, đã qua đời trong cảnh nghèo khó vào thời kỳ mà nước Phổ bị người Pháp chiếm đóng (xem bài những cuộc chiến tranh của Napoléon), và Roon đã được bà ngoại của ông nuôi dưỡng trên một đất nước đã bị tàn phá bởi cuộc Chiến tranh Giải phóng Đức.

Roon tham gia trong đội thiếu sinh quân tại Culm (Chełmno) vào năm 1816, và từ đây ông nhập học trường quân sự tại Berlin năm 1818. Đến tháng 1 năm 1821, ông được giao một nhiệm vụ trong Trung đoàn số 14 (tức Trung đoàn Pommern số 3) đóng quân tại Stargard ở Pommern. Kể từ năm 1824, ông khởi đầu một khóa học ở cấp độ cao hơn tại Trường Quân sự Berlin (sau này là Viện Hàn lâm Quân sự Phổ), và tại đây ông đã mở rộng kiến thức của mình. Vào năm 1826, ông được thuyên chuyển đến Trung đoàn số 15 tại Minden.